AIC 标准

拟合

拟合就是把平面上 一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用 函数 表示，根据这个函数的不同有不同的拟合名字。

AIC 准则

AIC是衡量统计模型 拟合优良性 的一种标准，提供了权衡估计模型 复杂度 和 拟合数据优良性 的标准。通常情况下，AIC定义为：

AIC = 2k - 2ln(L)

其中，k 为参数个数，L 为似然函数。

从一组可供选择的模型中选择最佳模型时，通常选择AIC最小的模型。

一般而言，当模型复杂度提高（k增大）时，似然函数L也会增大，从而使AIC变小；但是k过大时，似然函数增速减缓，导致AIC增大，模型过于复杂容易造成 过拟合现象。引入了惩罚项，使模型参数尽可能少，有助于降低过拟合的可能性。

过拟合

一个假设在训练数据上能够获得比其他假设更好的拟合， 但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。出现这种现象的 主要原因 是训练数据中存在 噪音 或者 训练数据太少。

BIC 准则

BIC准则

BIC的惩罚项比AIC的大，考虑了样本数量，样本数量过多时，可有效防止模型精度过高造成的模型复杂度过高。

BIC = kln(n) - 2ln(L)

其中，k 为参数个数，n 为样本数量，L 为似然函数。

kln(n) 惩罚项在维数过大且训练样本数据相对较少的情况下，可以有效避免出现维度灾难现象。

AIC 与 BIC 比较

BIC相比AIC在大数据量时对模型参数惩罚得更多，导致BIC更倾向于选择 参数少 的简单模型。